01 Introduction + Linear Regression

Topics

Types of ML problems (Supervised, unsupervised, reinforcement learning)
Intuitive example of supervised learning (trees in a forest)
Line / Hypothesis / Model
Hypothesis space
Loss function
Risk function
Gradient descent

📚 Resources

Clean PDF

PDF With notes

🏡Homework

data_lin_reg.csv ֆայլում երկու սյուն կա՝ x ու y։

Պետք ա գտնենք theta_1 * x ուղիղը որ լավագույնը նկարագրում ա տվյալները։

Ամենինչ ձեռքով ա պետք գրել՝ կարելի ա օգտվել մենակ մինչև էս պահը անցած գրադարաններից։

Դատան քաշեք, կարդացեք պանդասով, վիզուալիզացրեք
Gradient descent-ը իմպլեմենտացիա արեք։ Բզբզալով գտեք լավագույն alpha-ն (step size / learning rate)
Տարբեր alpha-ների համար գծեք գրաֆիկ որը ցույց կտա իտերացիայի քանակի ու Ռիսկի (միջին սխալանքի) կապը։
Վերջում գծեք դատան - լավագույն մոդելի գուշակած կետերը, գուշակած ուղիղը ու իսկական արժեքները։ 5 4 3 2 1 Լրացուցիչ՝ - գծեք սխալանքների չափերի հիստոգրամը։

գծեք Theta_1-ի ու Risk-ի կապը արտահայտող գրաֆիկը։
- Լրացուցիչ^2 էդ գրաֆիկի վրա նշեք գրադիենտի հետագիծը։

Եթե մարտահրավերի պատրաստ եք էս ամենինչը արեք ոչթե theta_1*x մոդելի համար այլ theta_0 + theta_1*x-ի համար

Երբ ստանաք գուշակած գիծը, ուղարկեք բանաձևը՝ ուրախանամ։

Լրացուցիչ տնային՝

դուրս բերել L2 (Mean Square error) Loss-ով լավագույն լուծման անալիզիտ տեսքը (normal equation-ա կոչվում)

Գործնականի ժամանակ ամենայն հավանակնությամբ չենք նայի դրա համար միանգամից ուղարկեմ լրացուցիչ նյութեր, նաև լուծումը։ Բայց առանց մտածելու լուծումը նայելը շատ վատ միտք ա։

video it’s quite old but I think it does a good job explaining it. Here J(theta) is just the same as R_emp in our notation
And this is also a nice post
And if you want to see the derivation of the formula, this forum is quite helpful